Đứng đầu Viện Kiểm sát Liên Xô là Tổng Kiểm sát trưởng Liên Xô, do Xô Viết Tối cao Liên Xô bổ nhiệm với nhiệm kỳ 7 năm. Các cơ quan của Viện Kiểm sát hình thành một hệ thống tập trung duy nhất với sự phụ thuộc của các công tố viên cấp dưới lên cấp trên.

Cơ cấu của Viện Kiểm sát được Đoàn Chủ tịch Xô Viết Tối cao Liên Xô phê chuẩn. Các Viện Kiểm sát được thành lập ở Cộng hòa Liên bang và các nước Cộng hòa tự trị, krays, oblast, oblast tự trị, các quận, thành phố và quận quốc gia. Quân đội và Hải quân Liên Xô cũng có các Viện Kiểm sát quân sự của các quân khu, hạm đội, đội quân và đơn vị đồn trú; các Viện Kiểm sát Quân sự do Tổng Kiểm sát trưởng Liên Xô đứng đầu trực tiếp và thông qua Viện trưởng Viện Kiểm sát Quân sự. Viện Kiểm sát Quân sự Nhà nước Liên Xô hoạt động trên cơ sở Quy chế Viện Kiểm sát Quân sự, được phê chuẩn bởi Nghị định Đoàn Chủ tịch Xô Viết Tối cao Liên Xô ngày 19 tháng 12 năm 1966.

Một Hội đồng bao gồm Tổng Kiểm sát trưởng Liên Xô (Chủ tịch) và các quan chức cấp cao của Viện Kiểm sát được thành lập. Trực thuộc Viện Kiểm sát Liên Xô bao gồm các Kiểm sát viên của các nước cộng hòa Liên bang và Viện trưởng Viện kiểm sát quân sự, các điều tra viên đối với các vụ án đặc biệt quan trọng. Các Hội đồng cũng được thành lập trong Viện Kiểm sát các nước Cộng hòa Liên bang.